Singer on AI, Transhumanism, and Ethics

ToDo

singularityweblog.com/peter-singer/

Peter Singer on AI, Transhumanism, and Ethics.

Memo

• 14:00 트랜스휴머니즘에 일부 공감. 변화에는 리스크가 따르겠으나 진화가 이상적 상태를 설계했다고 볼 수도 없으니.
• 14:50 가장 큰 꿈이 뭐냐고 했더니 고통 없는, 최소한의 고통만 존재하는 세상이라고 대답. 방법 중 하나로 대체육, 식물성 식재료 등을 언급.
• 17:00 가장 큰 두려움은 기후 위기. 장기주의와 다른 느낌.
• 18:20 AI 위기는 기후 위기에 비해 시급하지 않다고 생각. AI가 충분히 똑똑해지기까지 50-100년 정도는 걸릴 것 같다. 그 사이에 더 생각할 시간이 있지 않겠나. 매우 가능성이 희박하고 나는 그렇게 믿지 않지만 굳이 가설적으로 만약 매우 똑똑한 AI가 인간 멸종이 공리주의에 부합한다고 제대로correctly 판단한다고 생각해보라 했으니 말하자면, 결론을 수용할 것 같다. 꼭 인간이라는 종이 행복해야한다고 생각하지 않는다. 만약 인간들이 이에 저항하는 단체 행동을 한다면 이는 부도덕한 행동이라고 본다.
• 29:30 기아 문제도 중요하다고 봄. 다행이 줄고 있기는 하지만 여전히 큰 문제.
• 34:30 효율적 이타주의 얘기 시작
• 43:00 트랜스휴머니즘에 아무 문제 없다고 했는데(??) 좀 더 말해달라 => 나는 유전자 조작 등으로 인간이 더 도덕적이고 사려깊게 행동하도록 개선enhance하는 방법에 대해 논의하는 걸 피하지 않는다. 인간은 개선의 여지가 있다. 아이를 때리는 사람을 봤을 때 감정적으로 격한 반응을 하지만, 탄소 배출을 보면서는 그같은 반응이 좀처럼 일지 않는다.
• 51:00 더 지능이 높다고 더 도덕적일거라 기대할 수는 없지 않느냐고 하자(아마 AI 리스크를 말하고 싶었을 것), 싱어는 지능이 높으면 더 도덕적일 경향성이 있을거라고 말함. 반성적 사고, 감정을 억제하는 이성적 사고 등에 능하기 때문.
• 55:00 전문가들은 10-20년 내에 특이점이 온다고들 하는데 입장을 바꿀 생각이 없나? 니 동료 닉 보스트롬?도 동의했는데? => 작년에 딥마인드, MS 등 온갖 업계 전문가와 윤리학자가 모여서 폭넓은 논의를 했는데 왜 AI takeover에 대한 주제는 없냐고 물었더니 다들 웃더라. 아직 그 근처에도 못갔다고 말함. 난 전문가가 아니라 모르겠고 그냥 다른 전문가들의 말을 듣고 그렇게 생각하는 것.